
Transformer作者初创重磅发布Transformer²!AI模型活了,动态调整自己权重
Transformer作者初创重磅发布Transformer²!AI模型活了,动态调整自己权重Sakana AI发布了Transformer²新方法,通过奇异值微调和权重自适应策略,提高了LLM的泛化和自适应能力。新方法在文本任务上优于LoRA;即便是从未见过的任务,比如MATH、HumanEval和ARC-Challenge等,性能也都取得了提升。
Sakana AI发布了Transformer²新方法,通过奇异值微调和权重自适应策略,提高了LLM的泛化和自适应能力。新方法在文本任务上优于LoRA;即便是从未见过的任务,比如MATH、HumanEval和ARC-Challenge等,性能也都取得了提升。
Sakana AI联合MIT、OpenAI等机构提出了全新算法,自动搜索人工生命再达新的里程碑!不需要繁琐手工设计,只通过描述,AI就能发现全新的人造生命体了。
大模型版生命游戏来了。
天啦撸!!AI想出来的idea,还真有人写成论文了。甚至预印本arXiv、博客、代码全都有了。今年8月,Sakana AI(由Transformer论文8位作者的最后一位Llion Jones创业成立)这家公司推出了史上首位“AI科学家”,且一登场就一口气生成了十篇完整学术论文。
一年前,谷歌最后一位 Transformer 论文作者 Llion Jones 离职创业,与前谷歌研究人员 David Ha共同创立人工智能公司 Sakana AI。Sakana AI 声称将创建一种基于自然启发智能的新型基础模型! 现在,Sakana AI 交上了自己的答卷。
史上首位“AI科学家”,横空出世! 一登场就一口气生成了十篇完整学术论文。
Transformer架构层层堆叠,包含十几亿甚至几十亿个参数,这些层到底是如何工作的?当一个新奇的比喻——「画家流水线」,被用于类比并理解Transformer架构的中间层,情况突然变得明朗起来,并引出了一些有趣的发现。
自动将不同开源模型进行组合,生成具有新能力的新模型,Sakana AI开发的新方法做到了!
让大模型自己动手,好过让人类动手。黄仁勋对话Transformer八子时,最后一位离开谷歌的论文作者Llion Jones,相信这是大模型技术的关键趋势。他还卖了个关子,预告他创立的Sakana AI马上就有大动作。
去年 8 月,两位著名的前谷歌研究人员 David Ha、Llion Jones 宣布创立一家人工智能公司 Sakana AI,总部位于日本东京。